Từ 1791 William sống với một tình nhân là nữ diễn viên người Ireland, Dorothea Bland, được biết nhiều hơn với nghệ danh là, Mrs Jordan,[19] cái hiệu "quý bà." được mang từ lúc bà bắt đầu sự nghiệp sân khấu được giải thích là do có một thai nhi trong bụng bà[31] và "Jordan" là bởi vì bà "vượt biển" từ Ireland đến đảo Anh.[32]

William là người thuộc thế hệ đầu tiên trưởng thành sau Đạo luật Hôn nhân hoàng gia 1772, theo đó cấm tất cả các con cháu của vua George II kết hôn mà không có sự đồng ý của quốc vương, hoặc nếu họ trên 25 tuổi, thì phải có sự chuẩn y của Hội đồng Cơ mật trong vòng 12 tháng. Nhiều người con trai của George III, bao gồm William, chọn cách chung sống với người phụ nữ mình yêu, chứ không cưới vợ. Có con chính thức không phải là điều William cần nhất, vì ông chỉ là con thứ của George III, không có nhiều cơ hội bước lên ngai vàng, nhất là sau khi Hoàng tử xứ Wales đã kết hôn và có một người con gái, Công chúa Charlotte Augusta, đứng thứ hai trong danh sách kế vị.

William cảm thấy hạnh phúc khi chung sống với bà Jordan, và tâm sự với người bạn: "Mrs. Jordan là một người rất tốt, yêu gia đình và chu đáo với các con. Chắc chắn là cô ấy đôi khi ngớ ngẩn và nóng nảy, nhưng điều đó là chỉ là những thứ có nhiều hay ít trong một gia đình." Cặp đôi này sống tương đối lặng lẽ nhưng khá hạnh phúc, như bà Jordan viết vào cuối năm 1809: "Chúng ta sẽ có một mái ấm đông đủ và vui vẻ vào Giáng sinh này, nó thực sự làm hài lòng ngài Công tước."[33] George III đã chấp nhận mối quan hệ của con trai mình với cô đào hát (mặc dù nhà vua đề xuất ông chia đôi phụ cấp với bà);[34] năm 1797, nhà vua phong William làm Người gác công viên Bushy Park, trong khu đó bao gồm một cản nhà lớn, Bushy House, dành cho William và gia đình đông con của ông.[35] William sử dụng làm nơi cư trú cho đến khi ông trở thành vua.[36] Căn hộ của ông ở London, Clarence House, được dựng lại theo thiết kế của John Nash trong thời gian 1825 - 1827.[37]

Hai người có với nhau mười người con ngoại hôn-5 trai 5 gái-9 người trong số đó được đặt tên giống với các anh chị em ruột của William; và đều mang họ "FitzClarence".[38][39] Quan hệ của họ kéo dài 20 năm trước khi kết thúc năm 1811. Bà Jordan không hồ nghi gì về lý do chia tay: "Tiền, Tiền, người bạn tốt của tôi, tôi đã và đang tin chắc đã gây cho ông ta, vào lúc này, những điều tệ hại nhất của một người đàn ông," tiếp nữa là, "Với tất cả những phẩm chất tuyệt vời của ông ta, "tính tốt" chỉ quanh quẩn trong nhà, tình yêu dành cho những đứa con đáng yêu của ông, có những gì mà ông ta không phải chịu vào lúc này?"[40] Bà được trao một số tiền là £4,400 (tương đương với £287.900 hiện nay [41]) mỗi năm và được nuôi các con gái với điều kiện bà không trở lại sân khấu. Khi bà trở lại sân khấu nhằm kiếm tiền trả nợ cho con rể bà từ mối quan hệ trước kia của anh ta, William giành lấy quyền nuôi các con gái và ngừng trả 1,500 bảng (tương đương 94.600 bảng hiện nay[41]) được dành để nuôi dưỡng họ. Sau khi sự nghiệp của Mrs. Jordan bắt đầu thất bại, bà bỏ sang Pháp để trốn nợ, và chết trong cảnh nghèo khó ở gần Paris năm 1816.[42]

Trước khi gặp Mrs. Jordan, William có một đứa con trai ngoại hôn không rõ mẹ là ai; vị công tử này, cũng mang tên William, bị chết đuối ở Madagascar trên con tàu HMS Blenheim tháng 2 năm 1807.[43] Caroline von Linsingen, có cha là một vị tướng ở Hanover, tuyên bố có một người con với William, tên là Heinrich, trong khoảng năm 1790 nhưng William không có ở Hanover vào cái thời điểm mà bà ta tuyên bố và những câu chuyện như vậy bị các sử gia coi là không hợp lý.[44]

Chìm ngập trong nợ nần, William tìm cách kết hôn với một người thừa kế nữ của một nhà giàu, nhưng dự định này bất thành.[45] Sau cái chết của cháu gái William là Công chúa Charlotte xứ Wales, người đứng thứ hai trong danh sách kế vị, năm 1817, nhà vua còn tới 12 người con, nhưng không có một đứa cháu hợp pháp nào. Một cuộc chạy đưa diễn ra giữa các công tước hoàng gia, họ tranh thủ cưới vợ để có một người thừa kế. William có lợi thế rất lớn trong cuộc đua này vì hai anh của ông đều không có con và mâu thuẫn sâu sắc với vợ họ, cũng là những người đã quá độ tuổi sinh nở, và William có sức khỏe tốt nhất trong ba người.[46] Nếu ông sống đủ lâu, ông gần như chắc chắn sẽ bước lên ngai vàng Anh và Hanover, và người con hợp pháp của ông (nếu được chào đời) sẽ là quốc vương kế tiếp. Sự lựa chọn ban đầu của William gặp phải sự phản đối của huynh trưởng, Hoàng tử xứ Wales, hoặc là ông bị từ chối. Em trai của William Adolphus, Công tước Cambridge, được gửi tới Đức để tìm hiểu một công nương Kháng Cách; ông gặp được Công nương Augusta xứ Hesse-Kassel, nhưng cha bà ta Frederick khước từ cuộc hôn nhân này.[47] Hai tháng sau, Công tước Cambridge tự ý cưới Augusta. Cuối cùng, cũng có một công nương tính tình đáng yêu, gia đình dễ chịu, đã chịu cảm thông với ông, thậm chí chấp nhận 9 người con của William, nhiều người trong số họ chưa đến tuổi trưởng thành.[48] Tại Kew ngày 11 tháng 7 năm 1818,[49] William kết hôn với Công nương Adelaide xưSaxe-Meiningen, con gái George I, Công tước Saxe-Meiningen. Khi đó phu nhân mới được 25, chỉ bằng một nửa số tuổi của William.Cuộc hôn nhân này, kéo dài 20 năm cho đến khi William chết, tương đối hạnh phúc. Adelaide kiểm soát cả William và tài chính của ông. Năm đầu tiên sau khi cưới, hai người sống ở Đức, và nợ của William sớm được trả, đặc biệt là sau khi Nghị viện biểu quyết đồng ý tăng phụ cấp của ông, ông miễn cưỡng chấp nhận điều đó khi đề nghị của ông còn cao hơn nữa (nhưng bị từ chối).[50] Không biết liệu William còn có tình nhân nào khác sau cuộc hôn nhân hay không.[15][51][52] Hai vợ chồng có hai người con gái đoản mệnh và Adelaide ba lần sẩy thai.[53] Mặc dù vậy, những tin đồn rằng Adelaide mang thai vẫn kéo dài trong suốt triều William — ông coi chúng là "những thứ chết tiệt".[54]